Doomed from the Start: Early Abort of LLM Agent Episodes via a Recall-Controlled Probe Cascade
从开始就已注定:基于召回控制探针级联的LLM Agent尽早终止
🧭 LLM Agent早停与推理节省
Gaoling School of Artificial Intelligence, Renmin University of China · Institute of Computing Technology, Chinese Academy of Sciences · Duke University · Institute of Automation, Chinese Academy of Sciences · College of Computer Science, Zhejiang University
提出召回受控的探针级联,在Agent早期预测失败并终止,节省47%推理计算且保证全局存活率
📌 工作参考价值(4 点)
- 对于线上LLM Agent系统(如购物助手、自动广告投放),可集成轻量探针级联,每轮动态判断是否提前终止,大幅降低无效推理成本(节省约37%-47%)。
- 采用分布无关的校准门控与联合搜索每轮召回预算,能提供用户指定的全局召回率保证(如90%),满足业务对成功轨迹存活率的严苛要求,避免单门累积误杀。
- 探针仅读取隐藏层激活,无需行为特征,工程实现简单;并且实验表明加行为特征无额外收益,确认隐藏状态已包含足够信息,减少特征工程开销。
- 提供的样本复杂度分析方法,可指导业务方评估数据是否足够支撑高召回目标,避免盲目承诺。